1

고급 생성형 AI의 지형

PolyU COMP5511Lesson 11
00:00

고급 생성형 AI의 지형은 고급 생성형 AI 고립된 단일 모델에서 벗어나 다음과 같이 정의되는 다층적 생태계로 진화했습니다: 복합 AI 시스템. 이러한 전환은 단순한 확률적 토큰 예측에서 벗어나 파운데이션 모델(FM), 모듈형 플러그인, 그리고 교차 모달 합성을 조율하는 시스템으로 나아가고 있습니다.

컴퓨팅 / 클라우드 인프라LLM디퓨전오디오 / 코드오케스트레이션 및 에이전트 계층

생성형 스택 분류 체계

  • 인프라 계층: 하드웨어 기반(GPU/TPU)과 클라우드 서비스로, 학습과 고속 추론에 필요한 대규모 컴퓨팅을 제공합니다.
  • 모델 계층: GPT-4, Llama 3, Stable Diffusion과 같은 파운데이션 모델(FM)로, 다양한 모달리티를 위한 특화된 엔진 역할을 합니다.
  • 오케스트레이션 계층: 논리, 데이터 흐름, 검색을 관리하는 프레임워크로, 모델을 "고정된" 가중치에서 다음과 같은 시스템으로 전환합니다: 실시간 상황 인식.

모달리티 융합

기술적 트렌드는 주로 트랜스포머와 디퓨전 모델의 아키텍처를 통합하여 공유 잠재 공간을 가능하게 하는 데 초점을 맞추고 있습니다. 이를 통해 텍스트, 이미지, 비디오가 연속적인 정보 스트림으로 조작되는 단일 통합 인터페이스가 가능해지며, 이는 수학적으로 서로 다른 잠재 다양체 간의 매핑 $M_{text} \leftrightarrow M_{visual}$으로 표현됩니다.

구조적 진화
우리는 학습 데이터 매개변수 $\theta$에만 의존하는 "폐쇄형" 모델에서, 외부 환경 상태 $E$를 활용하여 $P(y|x, E)$를 통해 복잡한 추론 작업을 해결하는 "개방형" 시스템으로 나아가고 있습니다.
Python 구현